DocRetriever: A Plug-and-Play Framework for Multimodal Document Retrieval with Comprehensive Benchmark
DocRetriever：即插即用的多模态文档检索框架与全面基准
🧭 多模态文档检索
Zhejiang University · Huawei Technologies Co., Ltd
提出布局感知稀疏嵌入与推理增强重排序的即插即用框架，并构建多维度评估基准MultiDocR
📌 工作参考价值（4 点）
- 布局感知稀疏嵌入：无需OCR即可编码文档结构，适合电商商品详情页（图文混排）的检索，可迁移至商品描述与图片联合编码，保留排版信息提升匹配精度。
- 推理增强少样本重排序器：利用推理链演示和优化采样降低领域数据依赖，可用于推荐系统重排模块，在冷启动或跨域场景下快速适应，提升泛化能力。
- 混合编码策略：结合密集与稀疏表征，平衡效率与精度，可直接应用于Agent知识库的多模态文档检索，改善问答系统的证据召回质量。
- 评估基准MultiDocR：提供细粒度相关性和多维度评估设计，可借鉴其构建思路，为电商搜索或推荐场景设计更全面的相关性评估集。